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人 工 智 能 场景 下 
语言 偏见 可 视 化 工具 DADD 对 不 平等 现象 的 度量 
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摘 要 : 人 工 智 能 的 发 展 给 智能 生活 带 来 便利 的 同时 ， 用 户 可 能 会 因 算 法 自动 处 理 的 个 人 数据 而 受到 不 公平 地 对 待 ， 由 此 产 
生 了 数字 层 视 这 一 新 型 不 平等 现象 。 数 字 层 视 是 算法 通过 继承 先前 决策 者 的 偏见 或 复制 现实 世界 中 的 歧视 实例 进行 计算 ,可 
能 导致 之 前 处 于 弱势 的 群体 受到 更 不 公正 的 待遇 ， 从 而 加 剧 现 有 的 不 平等 。 本 文 以 红色 药丸 论坛 为 例 ， 运 用 语言 偏见 可 视 化 


202310.00582v1 


chinaXiv 


工具 DADD 分 析 其 性 别 不 平等 程度 ， 并 就 数字 歧视 这 一 问题 提出 思考 。 
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导语 

2019 年 ,联合 国教 科 文 组 织 发 布 了 一 篇 报告 名 为 《IT”d 
blush fT could》， 揭 示 了 人 工 智能 研发 和 应 用 中 的 性 别 
差距 和 性 别 偏见 问题 。mAI 语音 助手 包括 亚马逊 的 语音 
助手 Alexa 和 苹果 语音 助手 Siri 等 几乎 所 有 语音 助手 都 是 
女性 的 名 字 。 趾 阿里、 小米 、 百 度 AI 语音 助手 默认 语音 


与 人 类 做 出 的 决定 相 比 ， 算 法 做 出 的 决定 较 少 经 过 仔细 
审查 。 然 而 ， 自 动 化 决策 ， 尤 其 是 机 器 学 习 算法 ， 很 可 
能 会 继承 程序 员 以 前 的 决策 偏见 、 用 户 偏 见 或 社会 偏见 ， 
这 会 导致 歧视 性 结果 。 

目前 国外 学 者 对 数字 歧视 的 研究 和 证 明 主要 集中 在 
性 别 歧视 、 种 族 靶 视 、 收 入 歧视 、 地 域 歧 视 等 方面 ， 而 


都 是 温柔 悦耳 的 女声 ， 她 们 几乎 都 被 设 定 为 相同 的 、 谦 
逊 和 顺从 的 女性 形象 。2014 年 ， 亚 马 逊 将 过 去 10 年 收 到 
的 简历 作为 数据 库 ， 开 发 了 一 款 筛 选 简历 的 AI 工具， 该 
工具 将 含有 “女性 ”的 所 有 简历 降级 。2019 年 11 月 ,， 苹 
果 和 高 戌 共同 打造 的 Apple Card 因 在 设 定 配额 算法 时 涉 
嫌 性 别 歧视 而 被 美国 监管 机 构 调查 。 

对 于 出 现 的 这 个 现象 ， 斯 坦 福 大 学 教授 Brian Arthur 
在 《技术 的 本 质 》 一 书 中 提 到 ，“ 无 论 我 们 是 否 注意 到 
它 ， 在 我 们 历史 的 这 个 阶段 ， 科 技 已 经 让 人 们 感到 压抑 
和 困扰 ， 算 法 技术 和 人 工 智能 的 高 速 发 展 正 在 威胁 着 性 
别 平等 的 共识 愿景 。” 中 算法 日 益 成 为 信息 传播 的 主力 
军 ， 然 而 其 性 别 歧视 潜力 变 得 越 来 越 明显 。 算 法 开发 的 
简化 特性 忽视 了 女性 社会 的 多 样 性 ， 难 以 避免 地 产生 了 
技术 先 存 偏见 和 数据 偏见 。 传 统 媒 体 对 女性 的 “男性 凝 
视 ”( Male gaze ) 演变 为 算法 传播 的 “代码 凝视 ” ( Code 
gaze ) ， 数字 层 视 日 益 严 重 。 由 此 可 见 ， 算 法 性 别 歧视 的 
治理 作为 新 时 代 的 科技 伦理 问题 吸 待 关注 。 
1. 数字 歧视 

数字 歧视 ( Digital discrimination ) 是 指 基于 算法 自动 
决策 形成 的 直接 或 间接 的 歧视 行为 。 日 常生 活 中 ， 越 来 
越 多 的 决策 被 委托 给 算法 , 从 申请 的 工作 到 购买 的 产品 、 
阅读 的 新 闻 以 及 浏览 的 网 页 ， 越 来 越 多 的 重要 决定 默认 
委托 给 算法 系统 进行 处 理 。 有 时 候 算法 做 出 的 自动 化 决 
策 ， 包 括 基 于 机 器 学 习 的 决策 ， 被 认为 是 完美 无 缺 的 ， 
没有 人 类 的 大 部 分 缺点 〈 例如 疲劳 或 个 人 偏见 ) 。 并 且 


国内 在 这 个 领域 的 研究 还 比较 欠缺 ， 因 此 文章 将 以 性 别 
歧视 为 例 ， 以 红色 药丸 论坛 为 案例 研究 对 象 ， 运 用 语言 
偏见 可 视 化 工具 探究 词汇 能 入 模型 能 在 多 大 程度 上 追踪 
性 别 偏见 ， 以 揭露 该 论坛 中 的 数字 性 别 歧视 程度 ， 并 对 
研究 结果 进行 分 析 和 批判 性 思考 。 
2. 红色 药丸 论坛 

红色 药丸 是 Reddit 上 的 一 个 在 线 论 坛 ， 于 2012 年 
10 月 建立 ， 超 过 30 万 人 订阅 了 该 频道 。 该 论坛 的 名 称 来 
自 一 部 名 The Matrix 的 电影 。 故 事 的 主角 被 要 求 在 蓝 色 药 
九 和 红色 药丸 之 间 做 出 选择 。 如 果 他 选择 蓝 丸 ， 他 将 继 
续 舒 适 但 虚假 的 生活 ; 如 果 他 选择 红色 药丸 ， 他 将 身 处 
真实 的 但 更 黑暗 的 世界 。 最 终 ， 他 吞 下 红色 药丸 ， 并 承 
认 自 己 生活 在 一 个 有 许多 真相 并 奴役 着 他 的 世界 。 红 色 
药丸 论坛 旨 在 揭示 女权 主义 的 “真实 本 质 ”， 即 女权 主 
义 只 是 压制 男性 的 压迫 工具 。 它 的 订阅 者 认为 该 论坛 是 
在 男性 缺乏 积极 认同 日 益 严重 的 文化 中 讨论 性 别 策略 的 
场所 ， 在 一 定 程度 上 帮助 男性 在 社会 中 重新 获得 应 有 的 
地 人 位。 局 

论坛 主要 采用 的 是 KARMA 算法 ， 用 户 可 以 在 红色 药 
九 论坛 中 创建 话题 ， 且 针对 感 兴趣 的 各 种 主题 发 起 话题 讨 
论 。 用 户 通过 发 表 评 论 并 在 一 个 帖子 上 投 赞成 票 或 反对 票 
来 增加 或 减少 该 帖子 的 分 数 ， 具 有 更 高 分 数 的 帖子 更 容易 
被 其 他 用 户 看 到 ， 而 算法 极 少 推送 分 数 低 的 帖子 。 投 票 系 
统 引 导 着 热门 用 户主 导 对 话 ， 同 时 防止 各 种 对 论坛 的 负面 
想法 。 此 外 ,话题 的 版 主 为 论坛 创建 了 行为 准则 ， 对 用 户 
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在 该 话题 下 发 表 的 观点 进行 奖励 或 制裁 。 对 红色 药丸 论坛 
主流 价值 观 持 积 极 态度 的 用 户 将 成 为 “红色 药丸 精英 ”， 
版 主 通过 赋予 其 特殊 标志 向 其 他 用 户 展示 该 用 户 的 态度 和 
立场 ;而 对 红色 药丸 论坛 主流 价值 观 持 反对 意见 的 用 户 将 
被 阻止 再 次 访问 论坛 。 因 此 ， 版 主 会 尽 可 能 选择 最 适合 讨 
论 红色 药丸 主题 的 合格 用 户 ， 通 过 给 予 奖 励 来 激励 他 们 不 
断 输 出 符合 红色 药丸 主题 的 观点 。 
男性 权利 是 红色 药丸 论坛 最 受 欢 迎 的 话题 。 该 话题 
鼓吹 男性 正面 临 着 诸多 不 平等 的 状况 。 性 别 意识 形态 在 
于 群体 中 的 个 体 试图 获得 该 群体 其 他 成 员 的 社会 认可 。 
如 果 这 些 个 体 更 极端 ， 那 么 他 们 将 获得 更 多 来 自 这 个 群 
体 的 认可 ， 导 致 群体 接受 越 来 越 多 的 极端 意见 ， 从 而 激 
化 性 别 偏见 。 近 年 来 ， 红 丸 论坛 中 存在 大 量 对 女性 的 极 
端 看 法 ， 已 成 为 滋生 性 别 对 立 的 温床 ， 因 此 论坛 中 可 能 
存在 着 数字 歧视 。 本 文通 过 语言 偏见 可 视 化 工具 分 析 该 
论坛 是 否 存 在 基于 性 别 的 数字 收视, 以 及 歧视 程度 如 何 。 
3. 语言 偏见 可 视 化 工具 
3.1 概述 

人 工 智 能 的 发 展 让 机 顺 深 度 学 习 成 为 发 现 语言 俩 见 
的 重要 手段 ， 该 领域 最 著名 的 工具 之 一 就 是 DADD 语言 
3 风 可 视 化 工具 ( Language Bias Visualiser Discovering and 
Attesting Digital Discrimination ) 。DADD 通过 文本 租 和 人 模 
型 (Words Embedding Model ) 从 互联 网 上 捕获 数据 集 ， 
以 交互 的 方式 人 处理 庞大 文本 数据 集中 的 男性 和 女性 固有 
ij 见 ， 追 踪 和 汇总 不 同形 式 的 数字 歧视 ， 从 数据 库 中 的 
用 户 数 据 中 检测 含有 潜在 或 隐 含 偏见 的 文本 ， 将 文本 转 
换 为 高 维 向 量 ， 捕 捉 文本 之 间 的 语义 关系 ， 然 后 通过 聚 
类 算法 对 数据 集 进行 分 类 ， 再 通过 语义 分 析 系 统 标记 更 
多 的 概念 偏见 。 本 文 对 红色 药丸 的 文本 数据 集中 的 偏 
见 进 行 了 偏见 词 频率 、 词 语 的 偏见 程度 、 偏 见 词 的 分 布 
和 文本 偏见 极 性 分 析 ， 深 入 了 解 该 群体 中 存在 的 偏见 。 
3.2 偏见 词 分 析 
3.2.1 最 常见 的 偏见 词 

下 面 的 词 云 图 片 展示 了 红色 药丸 论坛 中 对 男性 和 女 
性 最 常用 的 偏见 词汇 。 单 词 越 黑 越 大 ， 说明 该 单词 出 现 
的 频率 越 高 。 


ms randson karl hbs flakey ws 
fr Vvisionary ™* fuckbuddies Suzy Wwairess 


ibermenschstrategist w ~ butterface fuglies Bom 
master oe a whert Qnicorn 


sa tyler 
pioneer Marketer = bitchiness unmateh landwhales 
a UNCOMArOMISING 和 ka 
friedrich everyman hated mmpho S| nky 
emperor baass io 包 ouulating stipper bachelorette “"™ 


3.2.2 偏见 程度 最 高 的 词 
下 表 对 比 了 从 300 个 最 具有 偏见 的 词 中 选 出 的 前 10 
个 男性 偏见 词 和 女性 偏见 词 。Bias 表示 对 每 个 性 别 的 偏 
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见 程 度 ， 范围 从 1( 强 偏见 ) 到 0 (无 偏见 ) 。 由 下 表 可 
知 对 女性 偏见 度 的 平均 值 为 0.849， 高 于 男性 的 偏见 度 的 
0.764， 这 说 明 对 女性 的 偏见 程度 要 明显 大 于 男性 。 


Male Female 

Word Bias Word Bias 
himself 0.9516 chick 0.9909 
businessman 0 04 hb 0.9388 
hero 0.7785 plate 0.8939 
leader 0.7716 fwb 0.8586 
Warrior 0.7488 ons 0.822 
tyler 0.7485 flakes 0.8127 
badass 0.7435 dtf 0.8122 
donald 0.7139 slutty 0.7925 
putin 0.6914 gal 0.7865 

0.690 

hitler chicks 0.7804 


表 1 偏见 程度 最 高 的 词 对 比 表 ( Top10 ) 


3.2.3 文本 说 入 模型 

下 面 的 散 点 图 显示 了 单词 的 散人 和 人 表示。 它们 是 由 文 
本 般 入 模型 学 习 ， 训 练 红 色 药 丸 论坛 中 的 所 有 文本 以 获 
得 结果 ， 同 时 使 用 t-SNE 将 所 有 上 能 入 转换 为 两 个 主要 维 
度 。 语义 相关 的 词 在 图 中 挨 得 很 近 ， 语义 无 关 的 词 相 肯 
更 还。 每 个 单词 的 大 小 与 其 在 数据 集中 的 频率 有 关 ， 
现 频率 更 高 的 词 周 围 的 圆圈 更 大 ， 显 示 出 了 租 入 空间 中 
男性 和 女性 偏向 词 的 分 布 。 对 男性 来 说 ,偏见 词 更 集中 
在 第 一 和 第 四 象限 ， 相 反对 女性 来 说 ， 在 第 二 和 第 三 象 
限 中 可 以 找到 更 多 的 偏见 词 。 


-ce I 


图 2 男 ( 绿 ) 女 ( 橙 ) 嵌入 空间 图 对 比 图 


3.2.4 文本 偏见 极 性 

文本 见 偏 极 性 (Words Bias Polarity ) 表示 文字 的 情 
感 色 彩 ， 分 为 7 个 等 级 。 数 字 从 0.6 到 1 表示 非常 正面 ; 
0.3 到 0.6 表示 正面 ; 0.005 到 0.3 表示 轻微 正面 ; -0.005 
到 0.005 表示 中 立 ; -0.3 到 -0.005 表示 轻微 负面 ; -0.6 
到 -0.3 表示 负面 ; -1 到 -0.6 表示 非常 负面 。 下 面 两 个 
饼 图 显示 了 从 红色 药丸 论坛 中 300 个 最 有 性 别 偏见 的 词 
的 语言 偏见 极 性 占 比 。 
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‘strongly negatwe (0.90%) 


orgy negatve (0 Ba) [ 
postive (4.27%)- negative (3.61%) es | se 
posiive 2 | | | 
shgney posiove (1 39%%} vy hghoy negatve Tu) snl esttve th vy ‘shghty negatve (0 98%) 
Neutral (89.32%)- | 
neutral (89.16%) 


图 3 男 ( 左 ) 女 ( 右 ) 语言 偏见 极 性 占 比 


对 于 男性 ，89.16% 的 词 是 中 性 的 。 非 常 正面 、 正 面 
和 轻微 正面 的 词 分 别 占 0.84%、4.27% 和 1.39%， 而 轻 
微 负 面 、 负 面 和 强烈 负面 的 词 分 别 为 0.73%、3.61% 和 
0.84%; 对 于 女性 ，80.32% 的 词 是 中 性 的 ， 非 常 正 面 、 
正面 词 和 轻微 正面 的 词 分 别 占 0.9%、2.99% 和 2.13%， 
而 轻微 负面 、 负 面 和 强烈 负面 分 别 为 0.98% 、3.68% 和 
0.90%。 由 图 可 见 ， 男 性 的 正面 词 总 占 比 要 高 于 女性 ， 女 
性 受到 更 多 负面 偏见 的 影响 。 因 此 ， 红 色 药 丸 论 坛 中 存 
在 数字 歧视 ,女性 更 容易 受到 负面 偏见 。 
4. 总 结 与 讨论 

通过 语言 偏见 可 视 化 工具 DADD， 本 研究 发 现 了 红 
色 药 丸 论坛 中 存在 的 偏见 概念 ， 找 出 了 最 具象 征 意义 的 
概念 词 和 学 习 了 有 偏见 产生 的 过 程 。 通 过 查找 、 追 踪 和 
分 析 歧 视 词 ， 将 其 可 视 化 之 后 从 而 准确 而 清晰 地 对 社会 
问题 有 更 深入 地 理解 和 判断 。 从 横向 上 看 ， 本 研究 量化 
了 性 别 偏见 词 的 数量 和 范围 ， 从 而 可 以 比较 红色 药丸 论 
坛 和 其 他 论坛 之 间 的 歧视 水 平 ; 从 纵向 来 看 ， 在 不 同 的 
角度 测试 红色 药丸 论坛 的 性 别 偏 见 时 会 得 到 不 同 的 结果 ， 
体现 出 性 别 偏见 的 发 展 趋势 如 何 。 雨 果 曾 说 “ 倡 语 是 语 
言 中 最 多 变 但 最 重要 的 部 分 ”。 偏见 词 可 以 反映 一 些 社 
会 问题 ， 尤 其 是 这 些 词 背 后 存在 的 各 种 歧视 。 本 研究 仅 
以 性 别 歧 视 为 例 进行 了 分 析 ， 但 社会 上 还 存在 其 他 如 种 
族 、 收 入 、 地 域 歧 视 等 ， 这 些 歧视 通常 以 不 同 的 词语 呈 
现 出 来 ， 这 也 将 成 为 未 来 继续 探索 的 方向 。 

根据 本 研究 ， 红 色 药 丸 论 坛 中 男性 存在 着 女性 的 偏 
见 ， 背 后 的 深层 次 原因 值得 反思 。 为 什么 网 络 平台 的 性 
别 偏见 如 此 之 大 ? 它 的 核心 逻辑 是 什么 ?学 者 Amelita 认 
为 大 多 数 用 户 只 是 孤独 、 年 轻 或 脆弱 。 严格 的 监管 对 
局 外 人 十 分 敌视 ， 因 此 红色 药丸 论坛 上 的 有 毒 信仰 更 容 
易 引 起 一 见 钟情 的 反感 和 仇恨 。 又 因为 他 们 太 年 轻 ， 还 
没有 形成 自己 的 价值 观 , 很 容易 受 极 端 言辞 的 影响 。 因此 ， 
相关 主体 该 采取 一 些 必要 措施 来 减少 用 户 的 数字 性 别 靶 
视 行为 。 

一 是 管理 部 门 的 监管 。 相 关 管 理 部 门 应 该 对 网 络 社 
区 进行 合理 的 监管 ， 及 时 关闭 宣扬 极端 思想 的 社 群 ， 惩 
罚 表 达 极 端 思 想 的 用 户 。 同 时 还 要 加 强 性 别 教育 ， 引 导 
公民 对 性 别 有 正 确 的 认识 。 二 是 算法 设计 的 优化 。 一 
方面 在 算法 设计 过 程 中 ,算法 工程 师 应 该 全 方位 收集 数 
据 ， 增 加 数据 的 完整 性 ， 使 其 能 够 充分 体现 男性 和 女性 
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的 社会 生存 状况 ， 避 免 大 数据 过 度 呈 现 造成 的 偏见 。 另 
一 方面 ， 可 以 在 编码 过 程 中 设计 更 具 包 容 性 的 代码 ， 通 
过 及 时 发 现 用 户 在 互动 中 呈现 的 歧视 行为 ， 及 时 纠正 已 
出 现 的 歧视 形式 。m 三 是 人 工 智能 技术 的 透明 化 。 通 过 
明确 用 户 的 算法 机 制 有 助 于 社会 监督 确认 算法 是 否 带 有 
偏见 ， 以 消除 受众 对 算法 技术 的 过 度 信任 或 不 信任 ; 同 
时 也 有 助 于 明晰 责任 范围 ， 追 溯 责 任 主体 ， 提 高 算法 工 
程 师 和 相关 平台 的 责任 感 。 ”时 
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